Ymgripiwr gwe

Rhaglen gyfrifiadurol yw ymgripiwr gwe neu cropiwr gwe sy'n pori'r We Fyd-Eang mewn ffordd fanwl, awtomatig (Saesneg: web crawler a web spider). Gelwir y broses yma yn 'cropian drwy'r we. Mae nifer o wefannau, yn enwedig peiriannau chwilio rhyngrwyd, yn defnyddio 'cropian' er mwyn cael y data diweddaraf. Defnyddir ymgripwyr gwe yn bennaf i greu copi o bob tudalen gwe y mae'n ymweld â hwy er mwyn eu prosesu yn nes ymlaen gan beiriant chwilio sy'n creu mynegai o'r tudalennau hynny er mwyn cynnig chwiliadau cyflym, h.y. heb orfod ymweld â'r tudalennau unigol ar gyfer chwiliad newydd. Amrywiad ar y rhaglenni hyn yw'r botiau sy'n cynnal a chadw gwefannau unigol mawr fel Wicipedia, e.e. trwy wiro dolenni a sgript HTML. Yn ogystal â hyn mae ymgripwyr yn cael eu defnyddio at ddibenion amheus fel cynaeafu cyfeiriadau e-bost, fel rheol gan sbamwyr. Fel rheol mae ymgripiwr gwe yn dechrau gyda rhestr o gyfeiriadau URL, a elwir yn 'hadau'. Mae'r rhaglen yn ymweld â'r hadau hyn ar y we, yn adnabod y dolenni hyperdestun ar y tudalennau ac yn eu ychwanegu yn eu tro i'r rhestr o gyfeiriadau URL wreiddiol. Yna mae'n mynd ati i ymweld â'r cyfan yn ôl pa bolisi bynnag a osodir.


Developed by StudentB